专利摘要:
音声コーデックの品質向上装置およびその方法が開示される。コアコーデックによってデコードされた信号の第1エネルギーを求め、低帯域音質向上モードによってデコードされた信号の第2エネルギーを求めた後、第1エネルギーがあらかじめ設定された第1しきい値よりも小さいか、または第1エネルギーが第2エネルギーにあらかじめ設定された第2しきい値を乗算した値よりも小さい場合、デコードされた信号の大きさをスケーリングすることにより無音区間の量子化誤差を減少させる。
公开号:JP2011508897A
申请号:JP2010536838
申请日:2008-11-28
公开日:2011-03-17
发明作者:ビョン−ソン イ;ミ−スク イ;ド−ヨン キム
申请人:韓國電子通信研究院Electronics and Telecommunications Research Institute;
IPC主号:G10L19-24
专利说明:

[0001] 本発明は、音声コーデックに関し、詳細には音声コーディング時に無音区間の量子化誤差による品質低下を減らすための装置およびその方法に関する。]
背景技術

[0002] 音声信号を圧縮するモジュールをエンコーダ(encoder)といい、再生するモジュールをデコーダ(decoder)という。最も基本的な音声コーデックは、ITU−T G.711コーデックであって、入力信号を8kHzでサンプリングした後、8ビットで量子化する。このとき、量子化効率を上げるために数1のようにA−lawまたは数2のようにμ−law形態のログ量子化器を使用する。]
[0003] ]
[0004] ]
[0005] 上記のような従来におけるログ量子化器は、入力信号の大きさにより量子化の間隔が異なる。例えば、大きさが小さい信号は相対的に量子化の間隔を大きくし、発生可能性が高い大きさの信号は量子化の間隔を狭くして量子化の効率を上げる。]
[0006] 一般的に量子化雑音は、全周波数帯域にかけて均等に分布するものと知られている。しかし、人の聴覚的な特性によって信号の大きさが大きい区間にある量子化誤差は信号に埋もれてよく聞こえず、信号の大きさが小さい区間にある量子化誤差は雑音として聞こえる。従って、音声区間のみならず無音区間を効率よくコーディングすることがコーデックの全体性能において重要な影響を及ぼす。すなわち、無音区間における量子化誤差による雑音が全体の音質に影響を与えるおそれがあるためである。]
[0007] また、コーデックは、入力信号の大きさに応じて性能が異なり得る。音声コーデックの性能を評価するときは主に大きさが異なる−16、−26、−36dBoVの信号に対して性能を評価する。すなわち、コーデックが入力信号の大きさの変化により性能がどのように変化するかを評価する。]
[0008] G.711やG.722のようなコーデックは、−36dBoVの入力信号に対して量子化誤差による雑音が発生するが、特に無音区間で発生する量子化誤差がコーデックの全体品質を低下させる1つの原因になる。主観的な聴取テストの結果によると、−36dBoV信号に対するMOS(Mean Opinion Score)の点数が−36dBOv信号に比べて高いことが観察される。]
発明が解決しようとする課題

[0009] 本発明が解決しようとする技術的な課題は、音声コーディング時に無音区間の量子化誤差による雑音を減らすことによって、人の耳に無音区間で雑音が聞こえないようにし、全体的な聴取品質を高めることができる音声コーデックの品質向上装置およびその方法を提供することにある。]
課題を解決するための手段

[0010] 前述した技術的な課題を解決するための本発明に係る音声コーデックの品質向上装置の一実施形態は、コアコーデックによってデコードされた信号の第1エネルギーを求める第1エネルギー算出部と、前記第1エネルギーがあらかじめ設定された第1しきい値よりも小さい場合、前記デコードされた信号の大きさをスケーリングするスケーリング部と、を備える。]
[0011] 前述した技術的な課題を解決するための本発明に係る音声コーデックの品質向上方法の一実施形態は、コアコーデックによってデコードされた信号の第1エネルギーを求めるステップと、前記第1エネルギーがあらかじめ設定された第1しきい値よりも小さい場合、前記デコードされた信号の大きさをスケーリングするステップと、を含む。]
発明の効果

[0012] 本発明によれば、無音区間の量子化誤差によって発生する雑音を減らし、音声コーデックの品質を向上させることができる。特に、コーデックの入力信号のうち、信号の大きさが小さい場合、無音区間における量子化誤差を減らすことによって聴取品質を向上させることができる。]
図面の簡単な説明

[0013] 狭帯域コーデック基盤の広帯域拡張コーデックの一実施形態を示した図である。
G.711コーデックを利用するエンコーダの入力信号およびデコーダの出力信号に対するスペクトルを示した図である。
G.711コーデックを利用するエンコーダの入力信号およびデコーダの出力信号に対するスペクトルを示した図である。
本発明に係る音声コーデックの品質向上装置の一実施形態の構成を示した図である。
本発明に係る音声コーデックの品質向上方法の一実施形態の流れを示した図である。
本発明に係る音声コーデックの品質向上方法の適用有無による、G.711コーデックを利用するデコーダの出力信号に対するスペクトルを示した図である。
本発明に係る音声コーデックの品質向上方法の適用有無による、G.711コーデックを利用するデコーダの出力信号に対するスペクトルを示した図である。]
実施例

[0014] 以下、添付の図面を参照して本発明に係る音声コーデックの品質向上装置およびその方法に対して詳細に説明する。]
[0015] 図1は、狭帯域コーデック基盤の広帯域拡張コーデックの一実施形態を示した図である。] 図1
[0016] 同図に示すように、広帯域拡張コーデックは、送信側100および受信側150に区分され、送信側100は、低帯域フィルタ(low−pass filter)105、高帯域フィルタ(high−pass filter)110、狭帯域コアコーデック(core codec)115、低帯域向上モード(low−band enhancement)120、広帯域拡張モード(wideband extension)125、およびMUX130を備え、受信側150は、DEMUX155、狭帯域コアコーデック160、低帯域向上モード165、広帯域拡張モード170、低帯域フィルタ175、および高帯域フィルタ180を備える。]
[0017] 送信側100に入力される広帯域入力信号は、低帯域フィルタ105および高帯域フィルタ110を介して各々低帯域信号および高帯域信号に分離され、低帯域信号は、狭帯域コアコーデック115および低帯域向上モード120を介してコーディングされ、高帯域信号は、広帯域拡張モード125を介してコーディングされる。狭帯域コアコーデック115、低帯域向上モード120および広帯域拡張モード125を介して各々コーディングされた信号はMUX130によってビットストリームとして出力される。]
[0018] ここで、低帯域向上モード120は、狭帯域コアコーデック115において示していない低帯域信号をコーディングすることによって、狭帯域信号の品質を向上させる役割をする。]
[0019] 一般的に、低帯域向上モード120は、狭帯域コアコーデック115により動作するアルゴリズムを決定するが、大部分の時間領域において動作するアルゴリズムを使用し、広帯域拡張モードは周波数領域において動作するアルゴリズムを使用する。]
[0020] 受信側150のDEMUX155は、送信側100から出力されたビットストリームを受信し、各々狭帯域コアコーデック160、低帯域向上モード165、および広帯域拡張モード170に出力する。低帯域向上モード165および広帯域拡張モード170の動作の可否は、受信されたビットストリームにより決定される。]
[0021] 受信側150は、広帯域拡張モード170の動作の有無に応じて広帯域信号を出力することができる。出力信号の帯域幅にかかわらず、狭帯域コアコーデック160は基本的に動作する。もし、狭帯域コアコーデック160のみが動作すれば基本的な狭帯域信号を再生することができる。より優れた品質の狭帯域信号を再生するためには狭帯域コアコーデック160と共に低帯域向上モード165も動作しなければならない。また、広帯域信号を出力するためには狭帯域コアコーデック160および広帯域拡張モード170が動作しなければならない。すなわち、受信側において、広帯域出力信号を再生するためには狭帯域コアコーデック160および広帯域拡張モード170の出力信号を加えて出力する。もちろん、より優れた品質の広帯域信号を再生するためには、狭帯域コアコーデック160、低帯域向上モード165の出力信号、および広帯域拡張モード170の出力信号を加えて出力すればよい。]
[0022] ITU−Tでは、図1に示された構成と類似したG.711をコアコーデックとして使用する広帯域拡張コーデックに対する標準化を進行している。すなわち、ITU−Tの推奨するG.711コーデック基盤の広帯域拡張コーデックは、狭帯域コアコーデック115、160としてG.711を使用し、図1に示された構成で表現することができる。しかし、G.711コーデックは、−36dBoV信号の場合に量子化誤差による雑音が発生する。] 図1
[0023] 図2Aおよび図2Bは、G.711コーデックを利用するエンコーダの入力信号およびデコーダの出力信号に対するスペクトルを示した図である。図2Aは音声信号に対するスペクトルであり、図2Bは無音信号に対するスペクトルである。] 図2A 図2B
[0024] 図2Aに示すように、音声信号に対して、エンコーダの入力信号200およびデコーダの出力信号210のスペクトルはほとんど一致する。しかし、図2Bに示すように、無音信号に対してエンコーダの入力信号230およびデコーダの出力信号220のスペクトルは不一致なことが分かる。すなわち、音声区間の場合、量子化誤差が小さい一方、無音区間では量子化誤差が大きいことが分かる。かかる量子化誤差は人の耳に雑音として聞こえる。] 図2A 図2B
[0025] 図3は、本発明に係る音声コーデックの品質向上装置の一実施形態の構成を示した図である。] 図3
[0026] 同図に示すように、本発明に係る音声コーデックの品質向上装置は、第1エネルギー算出部300、第2エネルギー算出部310、およびスケーリング部320で構成される。
第1エネルギー算出部300は、コアコーデックによってデコードされた信号のエネルギー(以下、コアコーデックのエネルギー)を求める。第1エネルギー算出部300は、フレーム単位でコアコーデックのエネルギーを求め、コアコーデックとしてG.711を使用する場合にフレームの大きさはG.711コーデックが使用される環境に応じて異なり得る。すなわち、第1エネルギー算出部300は、各サンプルに対するエネルギーを全て合算して1フレームのエネルギーを求める。]
[0027] 第2エネルギー算出部310は、低帯域向上モードが動作する場合、低帯域向上モードによってデコードされた信号のエネルギー(以下、向上モードのエネルギー)を求める。スケーリング部320は、コアコーデックのエネルギーが所定のしきい値THR1よりも小さい場合、コアコーデックによってデコードされた信号の大きさをスケーリングする。また、スケーリング部320は、コアコーデックのエネルギーが向上モードのエネルギーに所定のしきい値THR2を乗算した値よりも小さい場合、コアコーデックによってデコードされた信号の大きさをスケーリングする。スケーリング部320は、1よりも小さい定数(a)の分だけデコードされた信号の大きさをスケーリングすることが好ましい。また、他の例として、スケーリング部320は、現フレームのエネルギー(コアコーデックのエネルギーまたは向上モードのエネルギー)に以前フレームのエネルギー(コアコーデックのエネルギーまたは向上モードのエネルギー)を加えた値に比例する1よりも小さい利得(gain)をデコードされた信号に乗算してスケーリングすることによって、スケーリングによる急な変化を防止できる。]
[0028] この場合、スケーリング部320は、以前スケーリングの大きさを考慮してスケーリングの大きさを求めることができる。すなわち、スケーリング部320は、現フレームのエネルギーおよび以前フレームのエネルギーに基づいて求めた利得の一定比率と以前スケーリングの大きさの一定比率とを加えることによって、スケーリングの大きさを求めることができる。スケーリングはサンプル単位で行なうことはいうまでもない。]
[0029] スケーリング部320は、デコードされた信号のエネルギーの大部分が高帯域に存在する場合、スケーリングを行なわない場合もある。例えば、広帯域拡張モードによってデコードされた信号のエネルギーがコアコーデックのエネルギーまたは向上モードのエネルギーより、あらかじめ設定された一定の大きさ以上よりも大きい場合、スケーリング部320はスケーリングを行なわない。]
[0030] スケーリングのために使用されるしきい値THR1、THR2およびスケーリングの大きさ(a)などは実験によって求めることができ、このような値は本発明の実施形態によって多様に変更されて使用され得る。]
[0031] 図4は、本発明に係る音声コーデックの品質向上方法の一実施形態に対する流れを示した図である。] 図4
[0032] 同図に示すように、本発明に係る音声コーデックの品質向上装置(以下、装置)は、コアコーデックによってデコードされた信号のエネルギー(以下、コアコーデックのエネルギー)をフレーム単位で算出するS400。フレームの大きさは、コーデックの種類およびコーデックが適用される環境に応じて多様に決定され得る。図1に示したように、狭帯域音声コーデックを利用した広帯域拡張コーデックに本発明を適用する場合、低帯域向上モードが存在し得る。したがって、装置は低帯域向上モードが動作中であるかを確認するS410。] 図1
[0033] 低帯域向上モードが動作中の場合S410、装置は低帯域向上モードによってデコードされた信号のエネルギー(以下、向上モードのエネルギー)を算出するS430。そして、装置はコアコーデックのエネルギーが向上モードのエネルギーに所定のしきい値THR1を乗算した値よりも小さいか、またはコアコーデックのエネルギーが所定のしきい値THR2よりも小さい場合S440、コアコーデックによってデコードされた信号の大きさをa(1よりも小さい定数)の分だけスケーリングするS450。]
[0034] 低帯域向上モードが動作中でなければS410、装置はコアコーデックのエネルギーが所定のしきい値THR2よりも小さい場合S420、デコードされた信号をスケーリングするS450。スケーリングは、現フレームのエネルギー(コアコーデックのエネルギーまたは向上モードのエネルギー)に以前フレームのエネルギー(コアコーデックのエネルギーまたは向上モードのエネルギー)を加えた値に比例する1よりも小さい利得をデコードされた信号に乗算して行なうことによって、スケーリングによる急な変化を防止できる。この場合、現フレームのエネルギーおよび以前フレームのエネルギーに基づいて求めた利得の一定比率および以前スケーリングの大きさの一定比率を加えることによって、スケーリングの大きさを求めることができる。]
[0035] しきい値THR1、THR2およびスケーリングの大きさなどは、前述の説明のような実験によってあらかじめ求められた値である。]
[0036] 図5Aおよび図5Bは、本発明に係る音声コーデックの品質向上方法の適用の有無によるG.711コーデックを利用するデコーダの出力信号に対するスペクトルを示した図である。図5Aは音声信号に対するスペクトルであり、図5Bは無音信号に対するスペクトルである。] 図5A 図5B
[0037] 図5Aに示すように、音声信号に対して本発明に係る音声コーデックの品質向上方法が適用される前のデコーダ出力信号500と、本発明に係る方法が適用された場合のデコーダ出力信号510とのスペクトルは一致する。] 図5A
[0038] 図5Bに示すように、無音信号に対して本発明に係る音声コーデックの品質向上方法が適用される前のデコーダ出力信号520よりも、本発明に係る方法が適用された場合のデコーダ出力信号530の大きさが小さくなることが分かる。すなわち、無音区間においてデコーダの出力信号レベルが低くなり、量子化誤差が減少することが分かる。] 図5B
[0039] 本発明は、コンピュータで読出し可能な記録媒体にコンピュータが読出し可能なコードとして具現することも可能である。コンピュータが読出し可能な記録媒体は、コンピュータシステムによって読出し可能なデータが保存されるすべての種類の記録装置を含む。コンピュータが読出し可能な記録媒体の一例として、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データの保存装置などがあり、また、キャリアウェーブ(例えばインターネットを介した伝送)による表示の形態で具現されるものも含む。また、コンピュータが読出し可能な記録媒体は、ネットワークに接続したコンピュータシステムに分散され、分散方式によりコンピュータが読出し可能なコードが保存かつ実行されることができる。]
[0040] 以上、本発明に係る好ましい実施形態を主に説明した。本発明が属する技術分野における通常の知識を有する者は、本発明が本発明の本質的な特性から離脱しない範囲内で変形された形態で具現され得ることを理解すべきである。したがって、開示された実施形態は限定的な観点でなく、説明的な観点で考慮すべきである。本発明の範囲は、前述した説明でなく、特許請求の範囲に示されており、それと同等な範囲内にあるすべての差異点は本発明に含まれていると解釈すべきであろう。]
权利要求:

請求項1
コアコーデックによってデコードされた信号の第1エネルギーを求める第1エネルギー算出部と、前記第1エネルギーがあらかじめ設定された第1しきい値よりも小さい場合、前記デコードされた信号の大きさをスケーリングするスケーリング部とを備えることを特徴とする音声コーデックの品質向上装置。
請求項2
低帯域音質向上モードによってデコードされた信号の第2エネルギーを求める第2エネルギー算出部をさらに備え、前記スケーリング部は、前記第1エネルギーが前記第2エネルギーにあらかじめ設定された第2しきい値を乗算した値よりも小さい場合、前記コアコーデックによってデコードされた信号の大きさをスケーリングすることを特徴とする請求項1に記載の音声コーデックの品質向上装置。
請求項3
前記第1エネルギー算出部は、フレーム単位で前記第1エネルギーを算出することを特徴とする請求項1に記載の音声コーデックの品質向上装置。
請求項4
前記スケーリング部は、前記デコードされた信号を1よりも小さい定数でスケーリングすることを特徴とする請求項1に記載の音声コーデックの品質向上装置。
請求項5
前記スケーリング部は、前記コアコーデックによってデコードされた信号の以前フレームのエネルギーと現フレームのエネルギーとの和に比例する1よりも小さい利得を前記現フレームの信号に乗算することを特徴とする請求項1に記載の音声コーデックの品質向上装置。
請求項6
コアコーデックによってデコードされた信号の第1エネルギーを求めるステップと、前記第1エネルギーがあらかじめ設定された第1しきい値よりも小さい場合、前記デコードされた信号の大きさをスケーリングするステップとを含むことを特徴とする音声コーデックの品質向上方法。
請求項7
低帯域音質向上モードによってデコードされた信号の第2エネルギーを求めるステップと、前記第1エネルギーが前記第2エネルギーにあらかじめ設定された第2しきい値を乗算した値よりも小さい場合、前記コアコーデックによってデコードされた信号の大きさをスケーリングするステップとをさらに含むことを特徴とする請求項6に記載の音声コーデックの品質向上方法。
請求項8
前記第1エネルギーは、フレーム単位で算出されることを特徴とする請求項6に記載の音声コーデックの品質向上方法。
請求項9
前記スケーリングするステップは、前記デコードされた信号を1よりも小さい定数でスケーリングするステップを含むことを特徴とする請求項6に記載の音声コーデックの品質向上方法。
請求項10
前記スケーリングするステップは、前記コアコーデックによってデコードされた信号の以前フレームのエネルギーと現フレームのエネルギーとの和に比例する1よりも小さい利得を前記現フレームの信号に乗算するステップを含むことを特徴とする請求項6に記載の音声コーデックの品質向上方法。
請求項11
コアコーデックによってデコードされた信号の第1エネルギーを求めるステップと、前記第1エネルギーがあらかじめ設定された第1しきい値よりも小さい場合、前記デコードされた信号の大きさをスケーリングするステップとを実行するためのプログラムを記録したコンピュータで読出し可能な記録媒体。
請求項12
低帯域音質向上モードによってデコードされた信号の第2エネルギーを求めるステップと、前記第1エネルギーが前記第2エネルギーにあらかじめ設定された第2しきい値を乗算した値よりも小さい場合、前記コアコーデックによってデコードされた信号の大きさをスケーリングするステップとを実行するための請求項11に記載のプログラムを記録したコンピュータで読出し可能な記録媒体。
类似技术:
公开号 | 公开日 | 专利标题
JP6368740B2|2018-08-01|How to enhance the performance of coding systems that use high-frequency reconstruction methods
US9886964B2|2018-02-06|Encoding apparatus, decoding apparatus, and methods
US7899677B2|2011-03-01|Adapting masking thresholds for encoding a low frequency transient signal in audio data
JP4519783B2|2010-08-04|Device for improving performance of information source coding system
US8612214B2|2013-12-17|Apparatus and a method for generating bandwidth extension output data
ES2629453T3|2017-08-09|Codificador, descodificador y procedimiento de codificación
JP2017191341A|2017-10-19|信号分類方法および信号分類デバイス、ならびに符号化/復号化方法および符号化/復号化デバイス
JP4977471B2|2012-07-18|符号化装置及び符号化方法
KR100956624B1|2010-05-11|고대역 버스트 억제를 위한 시스템, 방법, 및 장치
JP6423460B2|2018-11-14|フレームエラー隠匿装置
EP2207170B1|2011-10-19|System for audio decoding with filling of spectral holes
KR100209870B1|1999-07-15|Method for processing ordered time sequence of audio signal and method for transmitting audio signal
US9153240B2|2015-10-06|Transform coding of speech and audio signals
KR100304055B1|2001-11-03|음성 신호 부호화동안 잡음 대체를 신호로 알리는 방법
KR101213840B1|2012-12-20|복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치
KR100896737B1|2009-05-11|오디오 신호의 견고한 분류를 위한 장치 및 방법, 오디오신호 데이터베이스를 설정 및 운영하는 방법, 및 컴퓨터프로그램
US8527282B2|2013-09-03|Method and an apparatus for processing a signal
US7328151B2|2008-02-05|Audio decoder with dynamic adjustment of signal modification
JP5458189B2|2014-04-02|ノイズ補充と帯域拡張との間の遷移周波数の適合
JP4137634B2|2008-08-20|紛失フレームを取扱うための音声通信システムおよび方法
JP4922296B2|2012-04-25|低ビット率オーディオ信号の符号化/復号化方法及び装置
KR100647336B1|2006-11-23|적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
CA2343661C|2009-01-06|Method and apparatus for improving the intelligibility of digitally compressed speech
RU2257556C2|2005-07-27|Квантование коэффициентов усиления для речевого кодера линейного прогнозирования с кодовым возбуждением
US7181404B2|2007-02-20|Method and apparatus for audio compression
同族专利:
公开号 | 公开日
CN101636785A|2010-01-27|
JP5323084B2|2013-10-23|
KR101235829B1|2013-02-21|
US20130066627A1|2013-03-14|
EP2560163A1|2013-02-20|
EP2560162A1|2013-02-20|
KR101235830B1|2013-02-21|
EP2229675A4|2012-03-07|
US9135925B2|2015-09-15|
JP5395250B2|2014-01-22|
JP5390690B2|2014-01-15|
JP2013084002A|2013-05-09|
CN101636785B|2012-02-08|
EP2229675A1|2010-09-22|
US20100057449A1|2010-03-04|
WO2009072777A1|2009-06-11|
KR20090060100A|2009-06-11|
US20130073282A1|2013-03-21|
US9142222B2|2015-09-22|
US9135926B2|2015-09-15|
JP2013101366A|2013-05-23|
KR20110068961A|2011-06-22|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
法律状态:
2012-06-25| A977| Report on retrieval|Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120625 |
2012-07-02| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120629 |
2012-09-28| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120927 |
2012-10-05| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121004 |
2012-10-30| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121029 |
2012-11-06| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121105 |
2012-11-30| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121129 |
2012-12-07| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121206 |
2012-12-21| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
2013-01-21| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130118 |
2013-04-19| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130418 |
2013-04-26| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130425 |
2013-05-18| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130517 |
2013-06-05| TRDD| Decision of grant or rejection written|
2013-06-17| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130614 |
2013-07-25| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130716 |
2013-07-26| R150| Certificate of patent or registration of utility model|Ref document number: 5323084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
2016-07-05| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2017-07-04| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2018-07-03| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2019-07-02| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2020-06-30| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2021-06-30| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
优先权:
申请号 | 申请日 | 专利标题
[返回顶部]